Modelos Multimodais

1 O que são Modelos Multimodais?

Modelos que entendem múltiplos tipos de dados — não apenas texto.

As modalidades

Modelos multimodais populares em 2026

2 Como imagens viram tokens

Vision Transformers (ViT): dividindo imagens em "palavras visuais".

🎮 Simulador: Image → Patches → Tokens

O pipeline Vision Transformer

# Pipeline simplificado de um Vision Transformer

# 1. Imagem de entrada: 224x224 pixels, 3 canais (RGB)
image = load_image("nota_fiscal.jpg")  # shape: (224, 224, 3)

# 2. Divide em patches de 16x16
patches = image.reshape(14, 16, 14, 16, 3)  # 14x14 = 196 patches
patches = patches.reshape(196, 16*16*3)  # cada patch: 768 números

# 3. Projeção linear: cada patch vira um vetor de 768 dimensões
patch_embeddings = Linear(768, 768)(patches)

# 4. Adiciona [CLS] token (representa a imagem inteira)
cls_token = Parameter(randn(1, 768))
embeddings = concat([cls_token, patch_embeddings])  # 197 tokens

# 5. Adiciona positional encoding (ordem dos patches importa)
embeddings = embeddings + positional_encoding

# 6. Passa pelo Transformer (self-attention entre patches)
features = TransformerEncoder(embeddings)

# 7. Combina com texto (se for modelo multimodal)
text_tokens = tokenize("Qual o valor total?")
combined = concat([features, text_tokens])
output = TransformerDecoder(combined)

# 8. Gera resposta
answer = decode(output)
# → "O valor total da nota fiscal é R$ 48.500,00"

Por que patches e não pixels individuais?

3 OCR inteligente com LLMs

Esqueça o OCR clássico — LLMs multimodais leem documentos diretamente.

🎮 Comparação: OCR clássico vs LLM multimodal

Veja como cada abordagem extrai informação de uma nota fiscal escaneada.

Exemplo: extraindo dados de NF com Claude 3

import anthropic
import base64

client = anthropic.Anthropic()

# Carrega imagem da NF
with open("nf_12345.jpg", "rb") as f:
    image_data = base64.standard_b64encode(f.read()).decode("utf-8")

# Chama Claude 3 com imagem
response = client.messages.create(
    model="claude-3-5-sonnet-20251022",
    max_tokens=1024,
    messages=[{
        "role": "user",
        "content": [
            {
                "type": "image",
                "source": {
                    "type": "base64",
                    "media_type": "image/jpeg",
                    "data": image_data
                }
            },
            {
                "type": "text",
                "text": """Extraia os seguintes dados desta nota fiscal em JSON:
- numero_nf
- fornecedor
- cnpj
- data_emissao
- valor_total
- itens (lista com descrição e quantidade)

Responda APENAS com o JSON, sem explicação."""
            }
        ]
    }]
)

# Resultado
print(response.content[0].text)
# {
#   "numero_nf": "12345",
#   "fornecedor": "Tech Ltda",
#   "cnpj": "00.000/0001-00",
#   "data_emissao": "2025-06-03",
#   "valor_total": 48500.00,
#   "itens": [
#     {"descricao": "Switch gerenciável", "quantidade": 4},
#     {"descricao": "Access point Wi-Fi 6", "quantidade": 8}
#   ]
# }

Quando usar cada abordagem

4 Attention em imagens — o que o modelo "olha"

Visualizando quais regiões da imagem o modelo considera importantes.

🎮 Simulador: Heatmap de atenção

Passe o mouse sobre as células para ver o peso de atenção. Cores mais quentes = mais atenção.

Por que isso importa?

5 Áudio e Fala

Speech-to-text, text-to-speech e modelos de voz nativos.

As 3 tarefas principais

Whisper — o padrão open-source

import whisper

# Carrega modelo (tiny, base, small, medium, large)
model = whisper.load_model("medium")  # bom equilíbrio

# Transcreve áudio
result = model.transcribe("reuniao_2025-06-20.mp3")

print(result["text"])
# "Bom dia, equipe. Vamos discutir os tickets de suporte da última semana..."

# Com timestamps
for segment in result["segments"]:
    print(f"[{segment['start']:.1f}s - {segment['end']:.1f}s] {segment['text']}")
# [0.0s - 4.5s] Bom dia, equipe.
# [4.5s - 9.2s] Vamos discutir os tickets de suporte...

Casos de uso na Nimbus Cloud

6 RAG Multimodal

Indexar não só texto, mas imagens, tabelas e diagramas.

Abordagens de RAG multimodal

Exemplo: RAG com imagens de NFs

from PIL import Image
import chromadb
import ollama

# 1. Extrai descrição textual da imagem com LLM multimodal
def describe_image(image_path):
    with open(image_path, "rb") as f:
        image_data = f.read()
    
    response = ollama.chat(
        model="llava:13b",  # LLM multimodal local
        messages=[{
            "role": "user",
            "content": "Descreva em detalhes o conteúdo deste documento. Inclua todos os números, datas, valores e nomes mencionados.",
            "images": [image_data]
        }]
    )
    return response["message"]["content"]

# 2. Indexa a descrição no Vector DB
db = chromadb.Client()
collection = db.get_or_create_collection("nimbus_multimodal")

for nf_image in list_nf_images():
    description = describe_image(nf_image)
    embedding = ollama.embed(
        model="nomic-embed-text",
        input=description
    )
    collection.add(
        ids=[nf_image],
        embeddings=[embedding["embeddings"][0]],
        documents=[description],
        metadatas=[{"type": "nota_fiscal", "image_path": nf_image}]
    )

# 3. Consulta multimodal
question = "Quais notas fiscais de equipamentos de rede chegaram em junho?"
results = collection.query(
    query_embeddings=[ollama.embed("nomic-embed-text", question)["embeddings"][0]],
    n_results=3
)

# 4. Retorna imagens + descrições
for result in results["metadatas"][0]:
    print(f"Imagem: {result['image_path']}")
    print(f"Descrição: {result['document']}")

CLIP — embeddings multimodais unificados

import clip
import torch
from PIL import Image

# Carrega modelo CLIP (OpenAI)
model, preprocess = clip.load("ViT-B/32")

# Imagem e texto no MESMO espaço vetorial!
image = preprocess(Image.open("nf_12345.jpg")).unsqueeze(0)
text = clip.tokenize(["nota fiscal de equipamentos de rede"])

with torch.no_grad():
    image_features = model.encode_image(image)
    text_features = model.encode_text(text)

# Similaridade direta entre imagem e texto!
similarity = torch.nn.functional.cosine_similarity(
    image_features, text_features
)
print(f"Similaridade: {similarity.item():.3f}")  # 0.28

# Busca: "quais imagens são sobre notas fiscais?"
# CLIP compara o texto com todas as imagens diretamente!

7 Ferramentas e APIs práticas

Como usar modelos multimodais no dia a dia.

APIs comerciais

Modelos locais (open-source)

Exemplo completo: assistente multimodal local

import ollama
import whisper
from PIL import Image

# 1. Transcreve áudio de pergunta
whisper_model = whisper.load_model("medium")
audio_result = whisper_model.transcribe("pergunta.mp3")
question = audio_result["text"]
print(f"Pergunta: {question}")

# 2. Carrega imagem relevante
image = Image.open("documento.jpg")

# 3. Chama LLM multimodal com imagem + pergunta
with open("documento.jpg", "rb") as f:
    image_data = f.read()

response = ollama.chat(
    model="llava:13b",
    messages=[{
        "role": "user",
        "content": question,
        "images": [image_data]
    }]
)

answer = response["message"]["content"]
print(f"Resposta: {answer}")

# 4. Opcional: narra a resposta em áudio
# (usando Piper TTS ou similar)

8 Conexão com RAG e próximos passos

Como multimodal expande o RAG — e o que vem depois.

Evolução do RAG

Casos de uso na Nimbus Cloud

Desafios do RAG multimodal

🎯 Quiz — teste seu conhecimento

Clique em uma alternativa para ver se acertou.

→ O que vem a seguir?

Agora que você entende modelos multimodais, vamos aprender a adaptá-los ao seu domínio.

Conceitos que vamos construir aqui